Het oorspronkelijk kasteel werd rond 1662 gebouwd in opdracht van baron Jacob Ferdinand de la Pierre, als uitbreiding van het vroegere Hof Ten Damme aan de overkant van de weg. Het kasteel dankt zijn benaming aan de adellijke familie van de graven van Salm, die het kasteel zo'n 80 jaren bewoonden tijdens de 18de eeuw.
In de loop der jaren verandert het kasteel meermaals van eigenaar. In het jaar 1895 wordt het kasteel verkocht aan mevrouw Mathilde Maria Moretus De Bouchout-Geelhand die het in 1902 volledig laat renoveren. In 1914 wordt het kasteel beschoten vanuit het fort van Bornem. Het kasteel raakt zwaar beschadigd en wordt vanaf 1916 op bescheiden schaal heropgebouwd.
Op 5 oktober 1927 wordt het Gravenkasteel verkocht een de naamloze vennootschap "l'Auxiliaire du Progrès".  Sedert 1963 verhuurt de nv het kasteel aan Willy De Maegd. Deze bood tijdens de eerste jaren onderdak en verzorging aan 32 bejaarden in de kamers van het kasteel. Op 14 oktober 1965 koopt de familie De Maegd het Gravenkasteel en laat er in 1968 een verpleegtehuis bouwen in de tuin van het kasteel. Het aanpalende woonzorgcentrum werd in 2012 vervangen door een nieuwbouw en is in handen van de groep Armonea. Er zijn 200 kamers waarvan een groot deel uitzicht hebben op het kasteel en de vijver.